基于JB~c-LSM的三层缓存Key/Value索引系统

【摘要】随着互联网技术的迅猛发展,网络访问数据量呈指数级增长,提高对海量数据的管理访问能力的需求变得越来越迫切,海量数据的索引性能的提升对于互联网的诸多应用会有极大的促进作用。ATR实验室开发的JBc-LSM系统是一种为自然语言处理N-gram模型的应用而设计的新型的海量数据索引系统,这个模型为了弥补传统B树的不足,设计了基于内存操作的高密度磁盘索引结构Bc。JBc-LSM系统在建库,批量查询和更新上有着较为优秀的性能,然而在线索引性能并不理想。本课题针对已有的JBc-LSM系统在线索引性能的不足所在,提出本课题的解决方案Flash-JBc-LSMo本文首先介绍了两种主流的索引系统的架构,重点介绍和比较了LSM模型的主流实现技术,结合对JBc-LSM系统的分析,在JBc-LSM系统的基础上,引入固态硬盘,遵循程序访问的局部性原理,设计了改进版本的系统Flash-JBc-LSMo改进后的Flash-JBc-LSM设计了适用于固态硬盘的索引数据结构,使得可以充分的发挥固态硬盘的性能,从而提升索引系统的在线索引性能。我们在JBc-LSM的基础上设计三层缓存层,第一层为内存索引结构,为Judy的关联结构,第二层为SSD的记录存储结构,记录的查询通过内存的hash表进行快速索引,第三层为以LinuxDeviceMapper技术为依托的Facebook开源项目Flashcache,此层将在磁盘的底层驱动里对磁盘的Block进行读的Cache。通过与几种主流的索引系统的实验的测试比较结果来看,本文提出的方案Flash-JBc-LSM比其他的索引系统有着较为显著的提升效果,也证明了本课题的解决方案Flash-JBc-LSM引入的固态硬盘以及为固态硬盘设计的索引结构对于系统的在线索引性能确有着提升的作用,也有助于提升自然语言处理N-gram模型应用或者在线搜索引擎的应用的性能。其次本文通过对实验的结果的分析,对Flash-JBc-LSM的改进的空间作进一步讨论。
【作者】杨明芽；
【导师】陈怡疆；
【作者基本信息】厦门大学，计算机软件与理论，2014，硕士
【关键词】海量数据索引；B树；SSD；Flashcache；LSM；Hash；

【参考文献】
[1]赵安杰.元明汉语语音规范研究[D].广西民族大学,汉语言文字学,2013,硕士.
[2]刘然.股指期货市场的风险控制体系研究[D].吉林大学,工商管理,2014,硕士.
[3]杜建革.UOE铣边机夹钳小车装置状态及系统精度分析[D].燕山大学,机械工程,2014,硕士.
[4]徐英.武汉动物园导视系统设计研究[D].中南民族大学,设计艺术学,2013,硕士.
[5]何磊.乡（镇）政府投资项目全过程控制研究[D].西南交通大学,建筑与土木工程,2013,硕士.
[6]吴凯.聚苯胺复合材料的制备与性能研究[D].沈阳理工大学,2014.
[7]司伟.椪柑采后蒂腐病菌生物学特性及其防治研究[D].华中农业大学,园林植物与观赏园艺,2011,硕士.
[8]任志敏.阎锡山发行晋钞研究（1917-1936）[D].山西师范大学,中国近现代史,2014,硕士.
[9]王艳.特殊体质受害人损害赔偿制度探究[D].湖南师范大学,民商法学,2014,硕士.
[10]徐宁寿,郑兵.方块脉冲函数用于线性时变系统的分析和最优控制[J].自动化学报,1982,01:55-67.
[11]徐杨.中性介质鲁米诺　电化学发光体系测定生物活性物质的研究[D].苏州大学,应用化学,2003,硕士.
[12]杨波.CSKG公司发展战略研究[D].西安科技大学,工商管理,2014,硕士.
[13]邓斌攸.基于弹性运动模型的视频压缩算法研究[D].厦门大学,信号与信息处理,2014,硕士.
[14]金瑛.AD和AA反应中可回收和重复使用的小分子手性配体的设计、合成及其应用[D].第四军医大学,药物化学,2004,硕士.
[15]邵荣士.具有延时的继电系统自持振荡的研究[J].自动化学报,1965,04:232-241.
[16]刘莉.异构集群下并行任务的复制调度算法[D].武汉纺织大学,计算机应用技术,2013,硕士.
[17]陆文凯,李衍达.利用SVD分解法对任意道距道内插[J].石油地球物理勘探,1997,04:582-588+604.
[18]刘侃.高校员工关系质量、员工情感与员工绩效关系研究[D].重庆大学,企业管理,2014,硕士.
[19]谭烨.统一城乡居民养老保险研究[D].西北大学,社会保障,2014,硕士.
[20]苏赛志.风光互补发电装置的结构优化[D].兰州理工大学,机械制造及其自动化,2013,硕士.
[21]江冉.美国量化宽松货币政策对中国外贸的影响[D].吉林大学,金融学,2014,硕士.
[22]李宏全,秦磊,秦伟航,杨兴旺.抗滑桩桩位对边坡稳定性影响的有限元强度折减分析[J].公路交通科技(应用技术版),2014,06:182-184.
[23]裘丹枫.电放法律问题研究[D].大连海事大学,法学,2013,硕士.
[24]郭利强.重臂克令吊液压系统仿真研究[D].江苏科技大学,船舶与海洋工程（专业学位）,2014,硕士.
[25]钟熹,李波.技术进步与企业经济效益[J].系统工程.1988(05)
[26]卢先锋.小细胞肺癌血清细胞因子的表达及其临床意义[D].第三军医大学,肿瘤学,2012,硕士.
[27]李惺颖.林地落界数据快速查询技术研究[D].中国林业科学研究院,森林经理学,2014,博士.
[28]潘宗序,禹晶,胡少兴,孙卫东.基于多尺度结构自相似性的单幅图像超分辨率算法[J].自动化学报,2014,04:594-603.
[29]曾宪华.慢性呼吸衰竭PRO量表的研制与评价[D].山西医科大学,流行病与卫生统计学,2013,硕士.
[30]李俊.X高速公路建设公司核心业务管理流程优化研究[D].北京化工大学,工商管理（专业学位）,2013,硕士.
[31]张天霈.广汽工业集团发展战略与实施对策研究[D].华中科技大学,MBA,2013,硕士.
[32]李香.基于协同创新的全日制专业学位研究生培养体系[J].长春教育学院学报,2014,20:110+113.
[33]张金瑞.60t矿用自卸车关键技术研究[D].郑州大学,车辆工程,2013,硕士.
[34]韩东生.喷射电沉积纳米晶镍的阴极极化行为及其微观组织结构[D].燕山大学,材料学,2004,硕士.
[35]周芳芳,樊晓平,叶榛.均值漂移算法的研究与应用[J].控制与决策,2007,08:841-847.
[36]熊永强.应用人工神经网络计算流体的径向分布函数和汽液平衡[D].广西大学,化学工艺,2004,硕士.
[37]赵钦.中小板IPO抑价现象研究[D].江西财经大学,金融学,2013,硕士.
[38]李天瑞,潘无名,杨宁,徐扬.序列模式的性质研究[J].复旦学报(自然科学版),2004,05:758-760.
[39]李宝锋.南宋御前画师职官制度研究[D].浙江大学,美术学,2012,硕士.
[40]管云芳.Si衬底上高质量In_xGa_(1-x)As薄膜的外延生长研究[D].华南理工大学,材料学,2014,硕士.
[41]记者张巍巍.新型石墨烯晶体管实现高开关比率[N].科技日报,2013-01-24001.
[42]张欣迪.考虑在途库存成本的滚动多航班班轮空箱调运优化[D].大连海事大学,物流工程,2014,硕士.
[43]崔岩.蒙古族风格民族器乐曲重奏研究[D].内蒙古师范大学,音乐学,2013,硕士.
[44]罗大旺.21世纪——中国服装业能否质变——新世纪我国服装与面辅料发展初探[J].中国纺织经济.2001(Z1)
[45]航辉.鞍钢半连轧精轧过程自动化[J].冶金自动化,1995,04:9-13.
[46]张洁.品牌记忆对消费者购买意愿的影响研究[D].中国矿业大学,企业管理,2014,硕士.
[47]史青.我国宏观金融利率模型的实证研究[D].云南财经大学,金融（专业学位）,2014,硕士.
[48]贾芳.内资财险公司客户保持策略研究[D].天津财经学院,2005.
[49]田钦勇.胸腺瘤的病理类型、Masaoka临床分期与重症肌无力、术后重症肌无力危象相关性分析[D].福建医科大学,外科学,2014,硕士.
[50]杨劼.求解约束优化问题的遗传算法研究[D].大连海事大学,应用数学,2013,硕士.